//爬取大主宰正本小说
//爬取大主宰小说目录
const url = 'https://www.37zw.net/0/330/';
const textUrl = `https://www.37zw.net/0/330/`
const puppeteer = require('puppeteer');
const cheerio = require('cheerio')
const {
  resolve
} = require('path')
const fs = require('fs');
(async () => {

  console.log('爬虫开始');

  const b = await puppeteer.launch({headless:false});
  const page = await b.newPage();
  await page.goto(url, {
    waitUntil: 'networkidle2'
  })

  await page.waitFor(10);

  const content = await page.content();
  const $ = cheerio.load(content, {
    decodeEntities: false
  })

  const res = await page.evaluate(() => {
    var arrText = [];

    $('#list dl dd a').each((index, item) => {
      var t = $(item).attr('href')
      arrText.push(t)
    })
    arrText.push($('#info h1').text())



    return arrText
  })

  console.log('爬虫结束');

  //__dirname表示server这个文件夹,即根目录
  //resolve(__dirname,'../test.txt') 表示在server当前目录的上层目录创建test.txt文件
  //resolve('test.txt')表示在server下面创建test.txt文件
 // 得到的小说跳转链接保存成json文件
 //writeFile 异步地写入数据到文件，如果文件已经存在，则替代文件
  //appendFileSync 同步地追加数据到一个文件，如果文件不存在则创建文件,如果文件存在则把数据追加到文件已有数据之后
  fs.appendFileSync(resolve(__dirname, `../text.json`), JSON.stringify(res), (err) => {
    if (!err) {
      console.log(err);

    } else {
      console.log('success');

    }
  })
  console.log('写入json文件结束');
  b.close()
  process.exit(0)
})()